机械模拟器是流行病学的必不可少的工具，可以在不同条件下探索复杂，动态感染的行为并导航不确定的环境。基于ODE的模型是能够快速模拟且可实现基于梯度的优化的主要范式，但可以简化有关人群同质性的假设。基于代理的模型（ABM）是一种越来越流行的替代范式，可以代表接触相互作用的异质性，并具有颗粒状细节和个人行为的代理。但是，常规的ABM框架没有可区分的，并且在可伸缩性方面提出了挑战。因此，将它们连接到辅助数据源是非平凡的。在本文中，我们介绍了GradABM，这是ABMS的新型可扩展，快速和可区分的设计。 GradABM在商品硬件上几秒钟内运行模拟，并启用快速前进和可区分的反向模拟。这使得可以与深度神经网络合并并无缝整合异质数据源以帮助校准，预测和政策评估。我们通过对实际Covid-19和流感数据集进行了广泛的实验来证明GradABM的功效。我们很乐观，这项工作将使ABM和AI社区更加紧密。
translated by 谷歌翻译
COVID-19的大流行提出了对多个领域决策者的流行预测的重要性，从公共卫生到整个经济。虽然预测流行进展经常被概念化为类似于天气预测，但是它具有一些关键的差异，并且仍然是一项非平凡的任务。疾病的传播受到人类行为，病原体动态，天气和环境条件的多种混杂因素的影响。由于政府公共卫生和资助机构的倡议，捕获以前无法观察到的方面的丰富数据来源的可用性增加了研究的兴趣。这尤其是在“以数据为中心”的解决方案上进行的一系列工作，这些解决方案通过利用非传统数据源以及AI和机器学习的最新创新来增强我们的预测能力的潜力。这项调查研究了各种数据驱动的方法论和实践进步，并介绍了一个概念框架来导航它们。首先，我们列举了与流行病预测相关的大量流行病学数据集和新的数据流，捕获了各种因素，例如有症状的在线调查，零售和商业，流动性，基因组学数据等。接下来，我们将讨论关注最近基于数据驱动的统计和深度学习方法的方法和建模范式，以及将机械模型知识域知识与统计方法的有效性和灵活性相结合的新型混合模型类别。我们还讨论了这些预测系统的现实部署中出现的经验和挑战，包括预测信息。最后，我们重点介绍了整个预测管道中发现的一些挑战和开放问题。
translated by 谷歌翻译
概率分层时间序列预测是时间序列预测的重要变体，其目标是建模和预测具有基本层次关系的多元时间序列。大多数方法都集中在点预测上，并且不提供良好的概率预测分布。最近的最先进的概率预测方法还对点预测和分布样本施加了层次关系，这并不能说明预测分布的相干性。先前的作品还默默地假设数据集始终与给定的层次关系一致，并且不适应显示出与此假设偏差的现实世界数据集。我们弥合了这两个差距，并提出了Profhit，这是一个完全概率的层次预测模型，共同模拟整个层次结构的预测分布。 Profhit使用一种灵活的概率贝叶斯方法，并引入了一种新颖的分布相干性正规化，以从层次关系中学习整个预测分布，以实现强大和校准的预测以及适应不同层次结构一致性的数据集。在评估广泛数据集的PROFHIT时，我们观察到准确性和校准的性能提高了41-88％。由于对完整分布的相干性进行了建模，我们观察到，即使缺少多达10％的输入时间序列数据，其他方法的性能严重降低70％以上，即使最多10％的输入时间序列数据也可以提供可靠的预测。
translated by 谷歌翻译
准确可靠的流行病预测是对公共卫生规划和疾病缓解影响的重要问题。大多数现有的疫情预测模型无视不确定性量化，导致错误校准的预测。近期神经模型的作品，用于不确定感知的时序预测也有几个限制;例如很难在贝叶斯NNS中指定有意义的前瞻，而Deep Leaseming的方法在实践中是计算昂贵的。在本文中，我们填补了这个重要的差距。我们将预测任务模拟为概率生成过程，并提出了一种名为EPIFNP的功能神经过程模型，其直接模拟预测值的概率密度。 EPIFNP利用动态随机相关图来模拟非参数方式之间序列之间的相关性，并设计不同的随机潜变量以捕获不同视角的功能不确定性。我们在实时流感预测环境中的广泛实验表明，EPIFNP在准确性和校准度量中显着优于先前的最先进模型，精度高达2.5倍，校准2.4倍。此外，由于其生成过程的性质，EPIFNP了解当前季节与历史季节类似模式之间的关系，从而实现可解释的预测。超越疫情预测，EPIFNP可以是独立的利益，以便在深度顺序模型中推进预测性分析的深度顺序模型
translated by 谷歌翻译
在软件开发过程中，开发人员需要回答有关代码语义方面的查询。即使已经用神经方法进行了广泛的自然语言研究，但尚未探索使用神经网络对代码回答语义查询的问题。这主要是因为没有现有的数据集，具有提取性问答和答案对，涉及复杂概念和较长推理的代码。我们通过构建一个名为Codequeries的新的，策划的数据集并提出了一种关于代码的神经问题方法来弥合这一差距。我们基于最先进的预训练的代码模型，以预测答案和支持事实跨度。给定查询和代码，只有一些代码可能与回答查询有关。我们首先在理想的环境下进行实验，其中仅给出了模型的相关代码，并表明我们的模型做得很好。然后，我们在三个务实的考虑因素下进行实验：（1）扩展到大尺寸的代码，（2）从有限数量的示例中学习，（3）代码中对次要语法错误的鲁棒性。我们的结果表明，虽然神经模型可以抵御代码中的次要语法错误，代码的大小增加，与查询无关的代码的存在以及减少的培训示例数量限制了模型性能。我们正在释放数据和模型，以促进未来关于回答代码语义查询的问题的工作。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
适当地识别和处理具有显着多参考（MR）特征的分子和材料对于在虚拟高通量筛选（VHT）中实现高数据保真度至关重要。然而，使用单一功能的近似密度泛函理论（DFT）进行大多数VHT。尽管发展了许多MR诊断，但这种诊断的单一价值的程度表明了对化学性质预测的MR效应不是很好的。我们评估超过10,000个过渡金属配合物（TMC）的MR诊断方法，并与有机分子中的那些进行比较。我们透露，只有一些MR诊断程序可在这些材料空间上转移。通过研究MR特征对涉及多个潜在能量表面的化学性质（即，MR效应）的影响（即绝热自旋分裂，$ \ DELTA E_ \ MATHRM {HL} $和电离潜力，IP），我们观察到这一点先生效应的取消超过积累。 MR特征的差异比预测物业预测中MR效应的先生特征的总程度更重要。通过这种观察，我们建立转移学习模型，直接预测CCSD（T）-Level绝热$ \ Delta e_ \ Mathrm {H-L} $和IP从较低的理论。通过将这些模型与不确定量化和多级建模相结合，我们引入了一种多管策略，可将数据采集加速至少三个，同时实现鲁棒VHT的化学精度（即1 kcal / mol）。
translated by 谷歌翻译
通过卫星摄像机获取关于地球表面的大面积的信息使我们能够看到远远超过我们在地面上看到的更多。这有助于我们在检测和监测土地使用模式，大气条件，森林覆盖和许多非上市方面的地区的物理特征。所获得的图像不仅跟踪连续的自然现象，而且对解决严重森林砍伐的全球挑战也至关重要。其中亚马逊盆地每年占最大份额。适当的数据分析将有助于利用可持续健康的氛围来限制对生态系统和生物多样性的不利影响。本报告旨在通过不同的机器学习和优越的深度学习模型用大气和各种陆地覆盖或土地使用亚马逊雨林的卫星图像芯片。评估是基于F2度量完成的，而用于损耗函数，我们都有S形跨熵以及Softmax交叉熵。在使用预先训练的ImageNet架构中仅提取功能之后，图像被间接馈送到机器学习分类器。鉴于深度学习模型，通过传输学习使用微调Imagenet预训练模型的集合。到目前为止，我们的最佳分数与F2度量为0.927。
translated by 谷歌翻译
2021-12-06
数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。
translated by 谷歌翻译
可拍照的分子显示了可以使用光访问的两个或多个异构体形式。将这些异构体的电子吸收带分开是选择性解决特定异构体并达到高光稳态状态的关键，同时总体红色转移带来的吸收带可以限制因紫外线暴露而限制材料损害，并增加了光疗法应用中的渗透深度。但是，通过合成设计将这些属性工程为系统仍然是一个挑战。在这里，我们提出了一条数据驱动的发现管道，用于由数据集策划和使用高斯过程的多任务学习支撑的分子照片开关。在对电子过渡波长的预测中，我们证明了使用来自四个Photoswitch转变波长的标签训练的多输出高斯过程（MOGP）产生相对于单任务模型的最强预测性能，并且在操作上超过了时间依赖时间依赖性的密度理论（TD） -dft）就预测的墙壁锁定时间而言。我们通过筛选可商购的可拍摄分子库来实验验证我们提出的方法。通过此屏幕，我们确定了几个图案，这些基序显示了它们的异构体的分离电子吸收带，表现出红移的吸收，并且适用于信息传输和光电学应用。我们的策划数据集，代码以及所有型号均可在https://github.com/ryan-rhys/the-photoswitch-dataset上提供
translated by 谷歌翻译